Sutton & Barto 强化学习导论 · 第二版 · 中文精读

Richard S. Sutton 与 Andrew G. Barto，2020 年印次（作者免费提供全文）。只读 CS234 没系统讲过的那几章——按节写，不逐页。真正的增量是第 8 章：规划与学习的统一视角、Dyna、优先遍历、决策时规划、rollout 与 MCTS。

精读左原书右讲解，按节分卡，带想一想与讲级科研主线卡 原书从 RLbook2020.pdf 切出的该章原件（第 1 页即该章首页）
C08 规划与学习：把有模型和无模型统一起来17 条讲解 精读原书
  1. 两种模型，和「规划」到底指什么
  2. 规划与学习共享同一个内核
  3. Dyna：真实经验兵分两路
  4. Dyna-Q 的六行伪代码，和那个迷宫
  5. 模型错了：乐观的错会自己暴露，悲观的错不会
  6. Dyna-Q+：给「很久没试过」发奖金
  7. 优先遍历：从变化处倒着扫
  8. 期望更新 vs 样本更新：分支因子说了算
  9. 轨迹采样：按「实际会走到哪」分配算力
  10. RTDP：有些状态可以一次都不碰
  11. 背景规划 vs 决策时规划
  12. 启发式搜索：深搜的好处不在「多步」，在「聚焦」
  13. rollout 算法：目标是改进那个 rollout 策略，不是求最优
  14. MCTS：四个步骤，和一条「什么不保存」
  15. 本章小结：三件事，和一句「唯一的区别」
  16. 第一篇总结：把方法摊成几个维度
  17. 文献注记里值得挑出来的几条
整本原书（548 页）你学过的对应：CS234 L16 精读
C03 有限马尔可夫决策过程26 页课件 精读原书
还没有中文讲解。
整本原书（548 页）你学过的对应：CS234 L02 精读
C04 动态规划18 页课件 精读原书
还没有中文讲解。
整本原书（548 页）你学过的对应：CS234 L02 精读
C05 蒙特卡洛方法20 条讲解 精读原书
  1. 只要经验，不要模型——而且书把 MDP 说成一组互相关联的上下文老虎机
  2. 首次访问与每次访问：差别很小，但理论性质不同
  3. 收敛快慢，和一个反直觉的例子：知道全部动力学，仍然该用蒙特卡洛
  4. 不自举，而且算一个状态的代价与状态总数无关
  5. ⭐ 确定性策略下，别的动作永远学不到——这正是你那个日志的病
  6. 控制：把策略迭代搬过来，然后承认两个假设都不现实
  7. Monte Carlo ES，和一个书自己说「最根本」的未解决问题
  8. 在策与离策的分野，以及 ε-软策略的确切定义
  9. ε-软版的策略改进定理，和那个「把 ε 挪进环境里」的技巧
  10. ⭐ 覆盖假设：π(a|s) > 0 必须蕴含 b(a|s) > 0
  11. ⭐ 重要性采样比：MDP 的转移概率在分子分母里抵消了
  12. ⭐ 普通 vs 加权重要性采样：无偏与有界方差，只能选一个
  13. 两个例子：单状态离策估值，和一个方差真的无穷的构造
  14. ⭐ 无偏却永不收敛：一个把「无偏」和「可用」分开的例子
  15. 增量实现：加权平均需要另一条更新式，外加一个累积权重
  16. ⭐ 离策控制：只从幕的尾巴学，而且前面的状态学得最少
  17. 折扣感知 IS：那 99 个因子期望是 1，却贡献了全部的方差
  18. ⭐ 逐决策 IS：第 k 个奖励只需要它之前的比值——而终局奖励一个都省不掉
  19. ⭐ 小结里那条第四优势：不自举，于是对马尔可夫性被破坏不那么敏感
  20. 文献注：重要性采样与因果推断是同一件事的两个名字
整本原书（548 页）你学过的对应：CS234 L03 精读
C06 时序差分学习22 页课件 精读原书
还没有中文讲解。
整本原书（548 页）你学过的对应：CS234 L03 精读
C13 策略梯度方法17 条讲解 精读原书
  1. 这一章换了一件事做：不再学动作值，直接学策略
  2. 怎么参数化：soft-max 偏好，外加一条容易被当成细节的硬要求
  3. 第二条好处：能学出任意概率——而有时候最优策略本来就是随机的
  4. 另外两条好处，和 13.2 开篇那个「看起来没法办」的难处
  5. 策略梯度定理：梯度里不含状态分布的导数
  6. REINFORCE 的推导：那个「除以概率」不是技巧，是必须
  7. 伪代码、资格向量，和那个迟到了十六年的 γᵗ
  8. 基线：一行证明说它不引入偏差，而它该随状态变
  9. 两个步长：一个有经验法则，另一个没有
  10. 基线与 critic 的界线：看值函数用在转移的第一个状态还是第二个
  11. 两个伪代码框：I ← γI 把那个 γᵗ 背了起来
  12. 持续情形：性能改成平均奖励率，于是所有的 γ 都消失了
  13. 差分回报：换掉值的定义之后，定理一字不改地继续成立
  14. 稳态让两项精确抵消；然后换个思路处理连续动作：学分布的统计量
  15. 均值用线性、标准差用指数；资格向量分成两半，各管一件事
  16. 小结：两句话把「基线无偏、critic 有偏」钉死
  17. 文献注：一张通往你需要的那几篇的地图
整本原书（548 页）你学过的对应：CS234 L08 精读